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Beschreibung 

Die Erfindung betrifft die rechnergestutzte Erken- 
nung eines fingerfOrmigen Objekts, welches eine vor- 
gebbare Farbe aufweist, durch einen Rechner. Die 
Erkennung muB veriaBlich und schnell durchfuhrbar 
sein. 

Es ist ein Verfahren zur Erkennung eines fingerfOr- 
migen Objekts bekannt [1]. 

Dieses Verfahren weist einige erhebliche Nachteile 
auf. Bei dem bekannten Verfahren wird die Farbe des zu 
Wassifizierenden fingerfOrmigen Objekts nicht beruck- 
sichtigt, was zu fehlerbehafteten Klassrfikationen des 
fingerfOrmigen Objekts fuhrt 

Ferner ist ein Nachtei! des bekannten Verfahrens in 
der Komplexitat des Verfahrens zu sehen, was zu einer 
nur sehr rechenintensiven DurchfOhrung der Erkennung 
fuhrt, wofur bei Echtzeitanforderungen lediglich sehr lei- 
stungsfShige Rechner, vor allem Workstations, geeignet 
sind. 

Daraus resuitiert ein weiterer Nachteil, der in den 
Kosten fur die Anordnung zur DurchfOhrung des 
bekannten Verfahrens (Workstation) zu sehen ist. 

Weiterhin ist es aus [2] bekannt, das aus [1] 
bekannte Verfahren zur Steuerung eines virtuellen 
Touch Screens einzusetzen. Die bekannte Verwendung 
unterliegt jedoch alien Nachteilen des bekannten Ver- 
fahrens und ist somit nur in eingeschrfinktem Ma Be ver- 
ISBIich anwendbar und auch nur mil erheblichem 
Kostenaufwand. 

Weiterhin sind verschiedene Verfahren zum Aufbau 
einer dig'rtalen Farbtabelle mit Hilfe eines Rechners 
bekannt, beispielsweise aus den Dokumenten [3] und 

M- 

Ferner ist ein Verfahren zur Kbnturverfolgung aus 
dem Dokument [5] bekannt. 

Ein Verfahren zur Kalibrierung einer Kamera ist aus 
[6] bekannt. 

Der Erfindung liegt das Problem zugrunde, ein fin- 
gerfOrmiges Objekt mit Hilfe eines Rechners schnell, 
einfach und veriaBlich zu Massif izieren. 

Das Problem wird durch das Verfahren gemdB 
Patentanspruch 1 gelOst. 

Es wird mindestens ein digitales Bild mit einer 
Kamera aufgenommen und in einem Rechner gespei- 
chert Ein erstes, handfOrmiges Objekt wird unter Ver- 
wendung einer dig'rtalen Farbtabelle und einem 
Konturverfolgungsverfahren bestimmt In dem ersten, 
handfOrmigen Objekt wird ein zweites, handfiachenfOr- 
miges Objekt bestimmt In dem zweiten, handfiachen- 
fOrmigen Objekt wird ein Referenzpunkt gewdhlt 
Mindestens ein Fingersprtzenpunkt wird bestimmt durch 
Untersuchung von Punkten, die sich auf der Korrtur 
befinden. Ist eine Strecke von dem jeweiligen Punkt zu 
dem Referenzpunkt langer als eine vorgebbare 
Schranke, so wird der Punkt als Fingersprtzenpunkt 
Wassrfiziert Fur jeden Fingerspitzenpunkt wird folgen- 
des iteratives Verfahren durchgefuhrt Es werden zwei 
Punkte auf der Korrtur gewfihrt. auf denen jeweils in 



etwa ein Lot bezuglich der Korrtur errichtet wird. Auf 
jedes dieser Lote wird von dem Fingerspitzenpunkt 
jeweils ein weiteres Lot gefairt. Fur beide Punkte wird 
nun ein Langenverhaitnis der Strecken des Lots, ausge- 

s hend von dem Fingerspitzenpunkt zu dem Schnittpunkt 
mit dem Lot durch den jeweiligen Punkt zu der Strecke 
des jeweiligen Lots durch den jeweiligen Punkt von dem 
Punkt mindestens zu dem Schnittpunkt mit dem Lot 
durch den Fingerspitzenpunkt. Die beiden L&ngenver- 

10 hfiltnisse werden mrteinander verglichen, und fur den 
Fall, daB sich das Langenverhaitnis vergrOBert, wenn 
man sich von dem Fingerspitzenpunkt errtfernt, wird 
eine neue Iteration mit Punkten durchgefuhrt, die min- 
destens so weit von dem Fingersprtzenpunkt errtfernt 

is ist, wie der am weitesten entfernte Punkt der vorigen 
iteration. 1st dies nicht mehr der Fall, wird der Bereich, 
der von dem am weitesten entferrrten Punkt der letzten 
Iteration, dem Fingerspitzenpunkt, der Korrtur und 
einem Symmetriepunkt, der sich auf der Korrtur befindet 

20 und zu dem Punkt der letzten Iteration bezuglich des 
Lots durch den Fingerspitzenpunkt in etwa achsensym- 
metrisch ist. 

Das Verfahren zeichnet sich vor allem durch seine 
Einfachheit aus, was dazu fuhrt, daB das Verfahren 

25 sogar mit einem Standard-Personal Computer in Echt- 
zert durchfuhrbar ist. Damrt wird auch eine erhebliche 
Kosteneinsparung erziett fur die zur DurchfOhrung des 
Verfahrens benOtigte Anwendung. Weiterhin weist das 
Verfahren eine sehr hohe Robusthert und geringe Feh- 

30 leranfailigkert auf. Auch ist ein Vorteil des erfindungsge- 
maBen Verfahren in der Berucksichtigung der 
vorgebbaren Farbe des ersten Objekts zu sehen, 
wodurch die Ermlttlung des ersten Objekts auch in 
ungOnstigen Umgebungen, beispielsweise einer Umge- 

35 bung des ersten Objekts, in der ahnliche Farben wie die 
des ersten Objekts vorkommen. Auch in einer sdchen 
Umgebung ist das Verfahren zuveriassig. 

Vorteilhafte WeiterfoikJungen der Erfindung ergeben 
sich aus den abhangigen AnsprQchen. 

40 Der Rechenzeitbedarf bei der DurchfOhrung des 
Verfahrens mit Hife eines Rechners wird vemngert, 
wenn der Fingersprtzenpunkt sich ergibt aus dem Punkt 
auf der Kontur, dessen Verbtndung zwischen dem Punkt 
und dem Referenzpunkt RP maximal ist 

45 Weiterhin ist es vorteilhaft, f Or die Vergleichspunkte 
auf der Kontur Symmetriepunkte zu ermitteln und diese 
bei der Ermittlung der Langenverhaftnisse zu berOck- 
sichtigen, indem die Strecke des Lots durch die Ver- 
gleichspunkte bis zu den Symmetriepunkten veriangert 

so wird. Dadurch wird die VerldBlichkeit einer torrekten 
Klassrfikation des fingerfOrmigen Objekts weiter erheb- 
lich verbessert 

Ferner ist es vorteilhaft, eine zwe'rte Schranke vor- 
zusehen und den ermitterten Bereich nur dann als das 

55 fingerfOrmige Objekt zu Wassifizieren, wenn das Lan- 
genverhaitnis der in der letzten Iteration ermitterten 
Punkt es grOBer ist als die zweiten Schranke. 

Weiterhin ist es in einer Werterbildung des erfin- 
dungsgemdBen Verfahrens vorteilhaft, die Erkennung 
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des fingerfOrmigen Objekts zu verwenden bei der Rea- 
lisierung eines virtuellen Touch Screens. Unter Verwen- 
dung des erfindungsgemaBen Verlahrens wird ein 
verlaBlicherer, mst einem Standard-PC realisierbarer 
Touch Screen realisiert aJs der aus dem Dokument [2] 
bekannte Touch Screen. 

Durch weiteren Einsatz von Spracherkennungsver- 
fahren ist die zusatzliche Steuerung des virtuellen 
Touch Screens mit Hilfe eingesprochener Sprache mOg- 
lich. Dies erOffnet ein weiteres Anwendungsspektrum 
als die lediglich manuelle Steuerung des virtuellen 
Touch Screens. 

Ein AusfOhrungsbeispiel ist in den Rguren darge- 
stellt und wird im weiteren anhand der Figuren naher 
erlautert. 

Es zeigen 

Figur 1 die einzelnen Verfahrensschrrtte des erfin- 
dungsgemaBen Verfahrens in Form eines 
Ablaufdiagramms; 

Figur 2 eine SWzze eines mit dem Verfahren unter- 
suchten handfOrmigen Objekts; 

Figur 3 eine Anordnung eines virtuellen Touch 
Screens, bei dem das erfindungsgemaBe 
Verfahren eingesetzt wird. 

Es wird in einem ersten Schritt 101 mindestens ein 
Bild, welches ein erstes, handfOrmiges Objekt HO auf- 
weist, von einer Kamera K aufgenommen (vgl. Rgur 1). 
Es muB sich hierbei nicht urn ein einziges Bild handeln, 
sondern es ist ebenso vorgesehen, daB eine Folge von 
Bildern von der Kamera K aufgenommen wird. 

Das mindestens eine Bild wird in einem Rechner R, 
mit dem das Verfahren notwendigerweise durchgef uhrt 
wind, digrtalisiert B. 

In dem digitalisierten Bild B wird in einem weiteren 
Schritt 102 das erste, handfOrmige Objekt HO ermittelt. 
Dies geschieht unter Verwendung einer zuvor in einer 
f Or den Fachmann bekannter Weise aufgebauten Farb- 
tabelle. Ferner wird zur Ermittlung des ersten, handfOr- 
migen Objekts HO beispielsweise ein aus dem 
Dokument [5] bekanntes Konturverfolgungsverfahren 
verwendet 

Ergebnis dieser Ermittlung ist das erste, handfOr- 
mige Objekt HO, welches durch eine Kontur KO 
begrenzt wird. In dem ersten, handfOrmigen Objekt HO 
wird in einem weiteren Schritt 103 ein zweites, handfla- 
chenformiges Objekt HFO bestimmt. 

Dies geschieht beispielsweise dadurch, daB der 
Schwerpunkt des handfOrmigen Objekts HO Oder des 
handf lachenfOrmigen Objekts HFO ermittelt wird. 

Eine Alternative zur oben beschriebenen Vorge- 
hensweise ist in der Verwendung des sogenannten 
Region Shrinking Algorithmus zu sehen. 

Ist das zweite. handflachenfOrmtge Objekt 
bestimmt wird innerhalb des zweiten Objekts ein Refe- 
renzpunkt RP gewahlt 104. 



Ausgehend von dem Referenzpunkt RP werden 
Streckenlangen zu einer beliebigen Anzahl von Kontur- 
punkten bestimmt 105. Unter einem Konturpunkt ist ein 
beliebiger Punkt zu verstehen, der sich auf der ermittel- 

5 ten Kontur KO bef indet (vgl. Rgur 2). 

Diejenigen Konturpunkte, deren Streckenlange der 
Verbindung des jeweiligen Konturpunkts zu dem Refe- 
renzpunkt RP grOBer sind als eine vorgebbare erste 
Schranke und vorzugsweise ein tokales Maximum auf 

io der Kontur KO bezuglich der Streckenlangen zwischen 
den Konturpunkten und dem Referenzpunkt RP darstel- 
len, werden als Rngerspitzenpunkte FP klasstfiziert 
106. Somit wird mindestens ein Fingerspitzenpunkt FP 
bestimmt. Die vorgebbare erste Schranke kann bei- 

is spielsweise ein vorgebbarer absoluter Wert sein Oder 
auch ein relativer Schweitwert, d. h. eine Prozentan- 
gabe. wieviel Prozent der untersuchten Konturpunkte 
als Fingerspitzenpunkt FP Wassrfiziert werden soil. FOr 
den letzten Fall wird dann ein Konturpunkt als Rnger- 

20 spitzenpunkt FP Wassrfiziert, wenn die Streckenlange 
der Verbindung zwischen dem Konturpunkt und dem 
Referenzpunkt RP grOBer ist als die Streckenlangen der 
Verbindungen zwischen der prozentual angegebenen 
Menge anderer Konturpunkte und dem Referenzpunkt 

25 RP. 

In einer Werterbildung des Verfahrens ist es vorge- 
sehen, denjenigen Konturpunkt als Rngerspitzenpunkt 
FP zu Massif izieren, dessen Streckenlange der Verbin- 
dung des jeweiligen Konturpunkts zu dem Referenz- 

30 punkt RP maximal ist. 

1st der mindestens eine Rngerspitzenpunkt FP 
bestimmt, so wird for jeden Rngerspitzenpunkt FP fol- 
gendes iteratives Verfahren durchgefOhrt 107. 

Ausgehend von dem jeweiligen Fingerspitzenpunkt 

35 FP wird ein erster Vergleichspunkt VP1 , der 6ich auf der 
Kontur KO bef indet, ausgewahlt 108. Auf der Kontur KO 
wird in etwa ein erstes Lot L1 errichtet 109, welches den 
ersten Vergleichspunkt VP1 enthalt. Auf das erste Lot 
L1 wird, ausgehend von dem Rngerspitzenpunkt FP, in 

40 etwa ein zweites Lot L2 gefallt 110. 

Es wird ein Quotient der Streckenlange des zweiten 
Lots 12 zwischen dem Fingerspitzenpunkt FP und dem 
Schnittpunkt des ersten Lots L1 mit dem zweiten Lot L2 
und des ersten Lots L1 mindestens zwischen dem 

45 ersten Vergleichspunkt VP1 und dem Schnittpunkt des 
ersten Lots L1 mit dem zweiten Lot L2 gebildet 1 1 1 . Der 
Quotient wird als ein erstes Streckenverhaltnis bezeich- 
net. In einem weiteren Schritt 1 12 wird das erste Strek- 
kenverhaltnis gespeichert 

so Ferner wird, ausgehend von dem jeweiligen Rnger- 
spitzenpunkt FP, ein zweiter Vergleichspunkt VP2, der 
sich ebenfalls auf der Kontur KO befindet. ausgewahlt 
1 13. Auf der Kontur KO wird in etwa ein drittes Lot L3 
errichtet 114, welches den zweiten Vergleichspunkt 

55 VP2 enthalt. Auf das dritte Lot L3 wird, ausgehend von 
dem Rngerspitzenpunkt FP, in etwa ein viertes Lot L4 
gefallt 11 5. 

Es wird ein Quotient der Streckenlange des vierten 
Lots L4 zwischen dem Rngerspitzenpunkt FP und dem 
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Schn'rttpunkt des dritten Lots L3 mit dem vierten Lot L4 
und des dritten Lots L3 mindestens zwischen dem zwei- 
ten Vergieichspunkt VP2 und dem Schnittpunkt des drit- 
ten Lots L3 mit dem vierten Lot L4 gebildet 116. Der 
Quotient wird als ein zweites Streckenverhaitnis 5 
bezeichnet In einem weiteren Schritt 1 17 wird das erste 
Streckenverhaitnis gespeichert 

Es ist vorteilhaft, wenn jeweils der zweite Ver- 
gieichspunkt VP2 derart ausgewahlt wird, daB die 
Streckeniange einer Strecke zwischen dem zweiten to 
Vergieichspunkt VP2 und dem Fingerspitzenpunkt FP 
grOBer ist als die Streckeniange einer Strecke zwischen 
dem ersten Vergieichspunkt VP1 und dem Fingerspit- 
zenpunkt FP. 

In einer Weiterbildung des Verfahrens ist es vorteil- is 
hafterweise zur Vereinfachung des Verfahrens vorgese- 
hen, jeweils das erste Lot L1 und das dritte Lot L3 Qber 
die Schnittpunkte mit dem zweiten Lot L2 bzw. dem 
vierten Lot L4 zu veriangern und jeweils einen weiteren 
Schnittpunkt mit der Kontur KO zu bilden. Diese weite- 20 
ren Schnittpunkte mit der Kontur KO werden als Sym- 
metriepunkte bezeichnet, da die Symmetriepunkte in 
etwa achsensymmetrisch zu dem zweiten Lot L2 bzw. 
dem vierten Lot L4 sind bezuglich dem ersten Ver- 
gieichspunkt VP1 bzw. dem zweiten Vergieichspunkt 25 
VP2. Das erste Streckenverhaitnis bzw. das zweite 
Streckenverhaitnis ergibt sich dann jeweils aus dem 
Quotienten der Streckeniange des zweiten Lot L2 bzw. 
des vierten Lots L4 zwischen dem Fingerspitzenpunkt 
FP und dem Schnittpunkt des ersten Lots L1 bzw. des 30 
dritten Lots L3 mit dem zweiten Lot L2 bzw. dem vierten 
Lot L4 und des dritten Lots L3 zwischen dem ersten 
Vergieichspunkt VP1 bzw. dem zweiten Vergieichspunkt 
VP2 und den Symmetriepunkten. 

Durch diese Weiterbildung wird zum einen das Ver- 35 
fahren vereinfacht und zum anderen werden die Ergeb- 
nisse des Verfahrens erheblich verbessert. 

Sind jeweils das erste Streckenverhaitnis und das 
zweite Streckenverhaitnis ermittert 111. 116 und 
gespeichert 112, 117 worden, wird untersucht, ob der 40 
Wert des zweiten Streckenverhaitnisses grOBer ist als 
der Wert des ersten Streckenverhaitnisses. 

Ist der Wert des zweiten Streckenverhaitnisses grO- 
Ber als der Wert des ersten Streckenverhaitnisses, so 
wird eine neue Iteration 107 der Verfahrensschritte 108 45 
bis 117 durchgefOhrt 118, wobei es vorteilhaft ist, daB 
der erste Vergieichspunkt VP1 der nachsten Iteration 
mindestens so weit von dem Fingerspitzenpunkt FP 
entfernt ist wie der zweiten Vergieichspunkt VP2 der 
vorigen Iteration. 50 

Ist der Wert des zweiten Streckenverhaitnisses 
jedoch nicht grOBer als der Wert des ersten Strecken- 
verhaitnisses, so wird ein Bereich als das f ingerfOrmige 
Objekt FO Wassrfiziert, der von der Kontur KO. dem Fin- 
gerspitzenpunkt FP, dem zweiten Vergieichspunkt VP2 ss 
der letzten Iteration sowie dem Symmetriepunkt des 
zweiten Vergleichspunkts VP2 begrenzt wird 119. 

In einer Weiterbildung des Verfahrens ist es vorteil- 
haft, den im vorigen beschriebenen Bereich nur dann 



als das f ingertormige Objekt FO zu MassHizieren, wenn 
das zweite Streckenverhaitnis grOBer ist als eine vor- 
gebbare zweite Schranke. Dadurch werden die Ergeb- 
nisse des Verfahrens welter verbessert. 

Die digitale Farbtabelle, die zur Ermittlung des 
ersten Objekts HO verwendet wird, kann auf Wr den 
Fachmann bekannte, unterschiedliche Weise gebildet 
werden. Eine MOglichkeit zur Bildung der Farbtabelle 
wird im weiteren beschrieben. 

In einem ersten Schritt wird auf interaktive Weise 
zusammen mit dem Benutzer bestimmt, was als vorge- 
gebene Farbe Wass'rfiziert werden soil. Hierzu wird 
durch den Benutzer in einem von einer Kamera aufge- 
nommenen Bild ein Bildbereich markiert, der die vorge- 
gebene Farbe aufweist Dies kann vorzugsweise 
dadurch geschehen, daB z. B. bei Klassifikation von 
Hautfarbe, der Benutzer seibst in dem aufgenommenen 
Bild aufgenommen wird. z. B. die Hand oder Kopf des 
Benutzers. Die Hand bzw. der Kopf des Benutzers auf 
dem Bild wird dann von dem Benutzer als Bildbereich 
markiert, der die vorgegebene Farbe aufweist Das auf- 
genommene Bild wird in einer Computereinheit gespei- 
chert und zur Weiterverarbeitung zur VerfOgung 
gestelrt. 

Hier sind auch andere Vorgehensweisen mOglich, 
z. B. kann auch die Farbe eines KleidungsstOcks als 
vorgegebene Farbe angegeben werden. indem der 
Benutzer in dem aufgenommenen Bild z. B. einen Bild- 
bereich markiert, der das KleidungsstOck der vorgege- 
benen Farbe umfaBt. 

Die MarWerung kann auf verschiedene Weise erfol- 
gen, sie kann z. B. vorzugsweise durch Verwendung 
einer Computermaus, der Tastatur, oder alien anderen 
dem Fachmann bekannten MOglichkeiten zur MarWe- 
rung von in einer Computereinheit zu bearbe'rtenden 
Bildbereichen erfolgen. 

Die GrOBe des markierten Bildbereichs ist von dem 
Benutzer f rei wahlbar. 

Die Farbinformation aller durch die Computerein- 
heit darstellbaren Farben aus dem verwendeten 
Farbraum, Oblicherweise dem dreidimensionalen R-G-B 
(Rot-GrOn-Blau) Raum wird durch eine Transformation 
in einen zweidimensionalen Farberaum transformiert. 
Durch die Transformation gent keinerlei Farbinformation 
verloren. 

Die Transformation kann auf verschiedene Weise 
erfolgen. 

Eine mOgliche Transformation besitzt folgenden 
Aufbau: 

Hierbei bezeichnen 
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R den Anteil der Farbe Rot an der jeweiligen Farbe. 
• G den Anteil der Farbe Grun an der jeweiligen 
Farbe, 

- B den Anteil der Farbe Blau an der jeweiligen 
Farbe, 

a eine erste Raumkoordinate in dem zweidimensio- 
nalen Farbraum, und 

- b eine zweite Raumkoordinate in dem zweidimen- 
sionalen Farbraum. 

Weitere Transformationen sind dem Fachmann 
bekannt und kOnnen ohne Einschrankung in dem erf in- 
dungsgemSBen Verfahren eingesetzt werden. 

Durch die Transformation wird jedem Punkt in dem 
dreidimensionalen Farbraum eindeutig ein Punkt in dem 
zweidimensionalen Farbraum zugeordnet. 

FOr den im vorherigen beschriebenen durch den 
Benutzer markierten Bildbereich wird ein erster Farb- 
mittelwert berechnet. der einen Durchschnittswert ailer 
in dem markierten BikJbereich vorkommenden Farben 
reprasentiert Da eine Farbe in einer Computereinhe'rt 
durch einen Zahlenwert reprasentiert wird, kann die 
Berechnung z. B. durch Bildung einer Summe Ober alle 
Farbwerte jedes in dem markierten Bildbereich sich 
befindenden Bildpunktes und anschlieBende Division 
durch die Anzahl der in dem markierten Bildbereich sich 
befindenden Bildpunkte erfolgen. Das Ergebnis istdann 
der den ersten Farbmittelwert reprasentierender Zah- 
lenwert Der erste Farbmittelwert wird ebenso durch 
einen Punkt im zweidimensionalen Farbraum reprflsen- 
tiert 

Nun wird auf dieselbe im vorigen beschriebenen 
Weise in dem markierten Bildbereich ein zweiter Farb- 
mittelwert berechnet. wobei ein Anteil von rt% der in 
dem markierten Bildbereich sich befindenden Bild- 
punkte unberucksichtigt bleibt bei der Berechnung des 
zweiten Farbmittelwerts. Der Anteil von n% der unbe- 
rucksichtigten Bildpunkte sind die Bildpunkte, die in 
dem zweidimensionalen Farbraum am weitesten von 
dem ersten Farbmittelwert entfernt sind, also jeweils 
eine Farbe aufweisen, die sich von dem ersten Farbmit- 
telwert am meisten unterscheidet. 

Diese NichtberQcksichtigung von Farbwerten dierrt 
zur Fehlerkompensation. Dieses Vorgehen ist sehr vor- 
teilhaft, urn z. B. bei der Berechnung von einem die 
Hautfarbe reprasentierenden zweiten Farbmrttelwerts 
anhand eines markierten Bildbereichs, der durch den 
Kopf des Benutzers dargestellt wird, FarbunregelmaBig- 
keiten, wie z. B. die Augen des Benutzers, die sich auch 
in dem markierten Bildbereich bef inden. auszugleichen. 

Die GrOBe von n, also die Angabe, wieviel % der 
sich in dem markierten Bildbereich befindenden Farb- 
werte unberOcksichtigt Weiben sollen, ist abhangig 
sowohl von dem Objekt. anhand dessen der zweite 
Farbmittelwert gebildet werden soli als auch von der 
benOtigten Genauigkeit des zweiten Farbmrtterwerts 
und der zur VerfOgung stehenden Rechenleistung. Aus 
diesem Grund muB die GrOBe n jeweils an die enspre- 
chende Situation angepaBt werden. Die GrOBe von n 



kann vorzugsweise in einem Bereich von 5 - 50 liegen. 
Das erfindungsgemaBe Verfahren ist nicht beschrankt 
auf den zweiten Farbmittelwert Mit derselben Vorge- 
hensweise kOnnen mehrere Farbmittelwerte, unter Ver- 
5 wendung von unterschiedlichen Werten fOr n, gebildet 
werden. Eine hohere Anzahl von Farbmittelwerten 
erhOht die Qualitat der spater folgenden Klassifikation. 
Ohne Einschrankung der AllgemeingOrtigkeit wird im fol- 
genden nur der zweite Farbmrtterwert betrachtet 
to AnschlieBend wird eine beliebige Anzahl von Nega- 
tivfarbwerten ausgewahrt Unter Negativfarbwerten sind 
in diesem Zusammenhang Farbwerte zu verstehen, die 
nicht der vorgegebenen Farbe entsprechen. Vorzugs- 
weise wird mindestens ein die Farbe WeiB reprasentie- 
is render WeiBpunkt in dem zweiciimensionalen Raum als 
ein Negativfarbwert verwendet. Eine erhOhte Anzahl 
von Negativfarbwerten verbessert die im weiteren 
beschriebene Klassifikation aller Farben in eine Farbe, 
die als der vorgegebenen Farbe zugehOrig, d. h. als 
20 genugend ahnlich, und in eine der vorgegebenen Farbe 
nicht ahnlichen Farbe. 

Sowohl um den zweiten Farbmittelwert als auch um 
jeden den jeweiligen Negativfarbwert reprasentieren- 
den Negativfarbpunkt. z. B. um den WeiBpunkt wird 
25 eine runde, z. B. kreisfOrmige Oder elliptische Region 
gebildet. Diese Regionen werden im folgenden als eine 
Mrttelwertregion fQr den zweiten Farbmittelwert und als 
Negatrvfarbregionen for die Regionen um die Negativ- 
farbpunkte bezeichnet. 
30 Die Regionen kOnnen beliebige GrOBe aufweisen, 
es ist also auch mOglich, daB sich Regionen Qberlappen 
oder eine Region vollstdndig eine andere Region 
umschlieBt 

FOr jeden von der Computereinhert darstellbaren, in 

35 den zweidimensionalen Farbraum transform] erten Farb- 
wert, der durch den jeweiligen Farbpunkt reprasentiert 
wird. wird eine Klassifikation durchgefOhrt. ob der jewei- 
lige Farbpunkt als dem vorgegebenen Farbpunkt. der 
den zweiten Farbmittelwert reprasentiert genQgend 

40 ahnlich eingeordnet wird Oder ob der jeweilige Farb- 
punkt als dem vorgegebenen Farbpunkt nicht ahnlich 
kassrf iziert wird. 

Die Klassifikation wird in der Weise durchgefOhrt, 
daB fOr jeden von der Computereinheit darstellbaren 

45 Farbpunkt ein Lot gefairt wird auf jede Verbindungsge- 
rade des den zweiten Farbmittelwert reprasentierenden 
vorgegebenen Farbpunkts mit jedem Negativfarbpunkt. 
Dadurch entstehen genau so viele LotfuBpunkte, darun- 
ter ist der Schnittpunkt des jeweiligen Lots mit der ent- 

so sprechenden Verbindungsgerade zu verstehen. wie 
Negativfarbpunkte. 

Fur jeden LotfuBpunkt wird ein erster Abstand 
b^echnet von dem LotfuBpunkt zu dem den zweiten 
Farbmittelwert reprasentierenden vorgegebenen Farb- 

55 punkt Der erste Abstand wird mit einem zweiten 
Abstand verg lichen, der den Abstand des entsprechen- 
den LotfuBpunkt es zu dem jeweiligen Negativfarbpunkt 
darstelrt 

Ein Farbpunkt wird dann als dem zweiten Farbmit- 
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telwert reprSsentierenden vorgegebenen Farbpunkt 
genOgend ahnlich WassHiziert, wenn fOr jeden LotfuB- 
punkt des Farbpunkts der erste Abstand geringer ist als 
der zwe'rte Abstand und jeder LotfuBpunkt in der Mittel- 
wertregion liegt. 5 

Das binare Ergebnis wird in der Farbtabelle gespei- 
chert, die nach AbschluB des im vorigen beschriebenen 
Verfahrens f Or jeden Farbpunkt in dem zweidimensiona- 
len Farbraum, also fOr jede von der Computereinhert 
darstellbaren Farbe einen binaren Eintrag enthait io 

Die Farbtabelte enthait fur jeden Farbwert, der 
jeweils einen Eintrag in der Farbtabelle eindeutig adres- 
siert. die binare Information, ob der Farbpunkt als der 
vorgegebenen Farbe ahnlich WassHiziert wurde Oder 
nicht is 

Der Aufbau der Farbtabelle nach dem im vorigen 
beschriebenen Verfahren ermOglicht eine Echtzeitreali- 
sierung verschiedener Verwendungen des erfindungs- 
gemaBen Verfahrens, da fOr einen Farbwert nur ein 
binSrer Wert ausgelesen werden muB, damit bekannt so 
ist, ob der Farbwert als der vorgegebenen Farbe genO- 
gend ahnlich Wassifiziert wurde. Details Ober den Auf- 
bau der Farbtabelle, wie er oben beschrieben wurde, 
sind in dem Dokument [3] zu f inden. 

Weitere Verfahren zum Aufbau einer Farbtabelle in 2s 
einer Computereinhert sind dem Fachmann bekannt, 
beispielsweise aus dem Dokument [4]. 

In einer Weiterbildung des Verfahrens ist es vorteil- 
haft, den Referenzpunkt RP nicht auszuwahlen, son- 
dern den Referenzpunkt RP zu bestimmen, 30 
beispielsweise nach dem Verfahren, welches in dem 
Dokument [7] fOr markiertes Objekt angewendet wird. 
Dieses bekannte Verfahren wird in dem Verfahren mit 
der Anpassung eingesetzt. daB das markierte Objekt 
durch das erm'rttelte erste Objekt HO gegeben ist und 35 
der Referenzpunkt RP sich aus dem nach dem bekann- 
ten Verfahren ermittelten Schwerpunkt des ersten 
Objekts HO ergibt. Weitere Verfahren zur Bestimmung 
der raumlichen Lage eines Objekts sind dem Fachmann 
bekannt und ohne weiteres in dem Verfahren einsetz- 40 
bar. 

Es ist in einer Weiterbildung des Verfahrens vorteil- 
haft, das mindestens eine ermitteite fingerfOrmige 
Objekt FO beispielsweise in einem virtuellen Touch 
Screen zu verwenden, der in Figur 3 dargestellt ist. 45 

In Figur 3 ist das virtuelle Touch Screen dargestellt, 
welches mindestens folgende Komponenten aufweist: 

einen Projektor P, 

- die Kamera K, so 

- den Rechner R, und 

eine Bedienoberf lache BOF. 

Von dem Projektor P wird eine virtuelle Eingabeein- 
hert auf die Bedienoberildche BOF projiziert. Unter 55 
einer virtuellen Eingabeeinheit ist beispielsweise die 
Eingabe einer Tastatur Oder Tastenanordnung eines 
Telefonapparats zu verstehen. 

Von der Kamera K wird die Bedienoberf lache BOF 



aufgenommen. In dem Rechner werden zum einen das 
oben beschriebene Verfahren sowie die im weiteren 
beschriebenen Schritte durchgefOhrt. 

Zu Beginn des Einsatzes des virtuellen Touch 
Screens ist es erforderlich, daB der Projektor P und die 
Kamera K kalibiriert werden. Darunter ist zu verstehen, 
daB es nach der Kalibirierung mOglich ist, zweidimen- 
sionale Bildkoordinaten eines von dem Projektor P pro- 
jizierten Bildes eindeutig zweidimensionalen 
Bildkoordinaten eines von der Kamera K aufgenomme- 
nen Bildes zuzuordnen. Hierzu kann beispielsweise das 
aus dem Dokument [2] bekannte Verfahren verwendet 
werden. . 

Von dem Projektor P wird die virtuelle Eingabeein- 
heit auf die Bedienoberf lache BOF projiziert. 

Das mindestens eine f ingerfOrmige Objekt FO wird 
von dem Benutzer B in einen Bereich gebracht, der von 
der Kamera K aufgenommen wird und der sich Ober der 
virtuellen Eingabeeinheit auf der Bedienoberf lache 
BOF bef indet. 

Das f ingerfOrmige Objekt FO wird von der Kamera 
K aufgenommen, von dem Rechner R in dem aufge- 
nommenen Bild erkannt und es wird die Ortliche Posi- 
tion des fingerfOrmigen Objekts FO relativ zu der 
virtuellen Eingabeeinheit, d. h. den einzelnen virtuellen 
Elementen, also den virtuellen Tasten der virtuellen Ein- 
gabeeinheit, bestimrrrt. 

Weiterhin wird jeweils eine Zeit erm'rttelt, in der das 
fingerfOrmige Objekt FO jeweils in etwa sich in Ruhe 
befindet. d. h. nicht bewegt wird. Ist die Zeit grOBer als 
eine vorgebbare Zeit, so wird eine Eingabe in die virtu- 
elle Eingabeeinheit Wassifiziert, d. h. beispielsweise ein 
Tastendruck auf die virtuelle Taste, Ober der sich das 
fingerfOrmige Objekt FO befindet. 

In einer Weiterbildung ist es vorteilhaft, die vorgeb- 
bare Zeit variabel zu gestalten, abhangig von der Bewe- 
gung des f ingerfOrmigens Objekt FO. 

Ferner ist es in einer Weiterbildung vorgesehen. 
vorgebbaren Formen des ersten Objekts HO semanti- 
sche Bezuge zuzuordnen, die als sogenannte Gestiker- 
kennung in dem Rechner R berQcksichtigt wird. An hand 
der vorgebbaren Gesten ist es vorgesehen, den Gesten 
Aktionen zuzuordnen, die von dem Rechner R bei 
Erkennen der jeweiligen Geste durchgefOhrt werden. 

Ferner ist es in einer Weiterbildung vorgesehen, 
das virtuelle Touch Screen zusatzlich durch Sprache 
steuerbar zu machen. 

HierfOr zusatzlich ist ein Mrttel zur Spracherken- 
nung in dem Rechner R vorgesehen. 

Vorteilhafte Verwendungen des virtuellen Touch 
Screens sind beispielsweise in Ausstellungen Oder 
Offentlichen Terminals zu sehen, da das virtuelle Touch 
Screen vandalismus-sicher ausgestaftet werden kann. 

Weiterhin ist eine vorteilhafte Verwendung bei- 
spielsweise in der Medizin, vor allem bei Operationen 
zu sehen. Der Benutzer, in diesem Fall beispielsweise 
der operierende Arzt kann dann eine Fiache neben dem 
Operationsfekj als virtuelles Touch Screen verwenden. 

In diesem Dokument wurden folgende VerOffentii- 
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Patentanspruche 35 

1. Verfahren zur Erkennung mindestens eines finger- 
tormigen Objekts in einem ersten, handfOrmigen 
Objekt durch einen Rechner, 

40 

bei dem mindestens ein das erste. handfdr- 
mige Objekt aufweisendes digitates Bild von 
einer Kamera aufgenommen wird. 

- bei dem das erste, handfOrmige Objekt vorgeb- 
barer Farbe ermittelt wird unter Verwendung 45 
einer dig'rtalen Farbtabelle und einem Korrtur- 
verfolgungsverfahren, 

bei dem aus der ermrtteiten Kontur ein zweites. 
handf lachenfOrmiges Objekt bestimmt wird. 

- bei dem innerhalb des zweiten, handfiachen- so 
fOrmigen Objekts ein Referenzpunkt gewahlt 
wird. 

bei dem Streckenl&ngen einer beliebigen 
Anzahl von Konturpunkten jeweils zu dem 
Referenzpunkt bestimmt werden, ss 
bei dem mindestens ein Fingerspitzenpunkt 
sich ergibt aus den Kbnturpunkten, deren 
Streckeniangen zu dem Referenzpunkt grOBer 
sind als eine vorgebbare erste Schranke, 



bei dem fur den Fingerspitzenpunkt rterativ die 
folgenden Schritte durchgefuhrt werden: 

a) es wird ein erster Vergleichspunkt, der 
sich auf der Kontur bef indet, ausgew&hlt, 

b) es wird in etwa ein erstes Lot auf dem 
ersten Vergleichspunkt errichtet, 

c) es wird in etwa ein zweites Lot von dem 
Fingerspitzenpunkt auf das erste Lot 
gefailt, 

d) es wird ein erstes Streckenverhaitnis 
ermittelt aus der L&nge der Strecke auf 
dem zweiten Lot von dem Fingerspitzen- 
punkt zu dem Schnittpunkt mit dem ersten 
Lot und mindestens der LSnge der Strecke 
des ersten Lots von dem ersten Ver- 
gleichspunkt zu dem Schnittpunkt mit dem 
zweiten Lot, 

e) das erste Streckenverhaitnis wird 
gespeichert, 

f) es wird ein zwe'rter Vergleichspunkt, der 
sich auf der Kontur befindet, ausgewahlt. 
wobei der zweite Vergleichspunkt wetter 
von dem Fingerspitzenpunkt entfernt liegt 
als der erste Vergleichpunkt, 

g) es wird in etwa ein drittes Lot auf dem 
zweiten Vergleichspunkt errichtet. 

h) es wird in etwa ein viertes Lot von dem 
Fingerspitzenpunkt auf das dritte Lot 
gefdltt, 

i) es wird ein zweites Streckenverhaitnis 
ermittett aus der L&nge der Strecke auf 
dem vierten Lot von dem Fingerspitzen- 
punkt zu dem Schnittpunkt mit dem dritten 
Lot und mindestens der Lange der Strecke 
des dritten Lots von dem zweiten Ver- 
gleichspunkt zu dem Schnittpunkt mit dem 
vierten Lot, 

j) das zweite Streckenverhaitnis wird 
gespeichert, 

• bei dem fQr den Fall. daB das erste Strecken- 
verhaitnis Weiner ist als das zweite Strecken- 
verhaitnis. die Schritte a) bis j) in einer weiteren 
Iteration durchgefuhrt werden, wobei der erste 
Vergleichspunkt der weiteren Iteration minde- 
stens so we'rt von dem Fingerspitzenpunkt ent- 
fernt ist wie der zweite Vergleichspunkt der 
vorigen Iteration, und 

- bei dem sonst ein Bereich. der von dem zwei- 
ten Vergleichspunkt, der Kontur, dem Finger- 
spitzenpunkt sowie einem bezOglich des 
vierten Lots zu dem zweiten Vergleichspunkt in 
etwa achsensymmetrischen Symmetriepunkt 
begrenzt wird als das fingerfOrmige Objekt 
Massif iziert wird. 

2. Verfahren nach Anspruch 1 , 
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bei dem der Fingerspitzenpunkt sich ergibt aus gen Objekts vor dem Ruhen. 

dem Konturpunkt, dessen Streckeniange zu 

dem Referenzpunkl maximal ist 9. Verfahren nach einem der AnsprOche 6 bis 8, 



3. Verfahren nach Anspruch 1 oder 2, 

bei dem fOr den ersten Vergleichspunkt und fOr 
den zweiten Vergleichspunkt jeweils ein Sym- 
metriepunkt ermrttelt wird, der jeweils in etwa 
achsensymmetrisch zu dem ersten Vergleichs- 
punkt oder dem zweiten Vergleichspunkt ist 
bezuglich dem zweiten Lot bzw. dem vierten 
Lot, wobei der erste Vergleichspunkt bzw. der 
zweite Vergleichspunkt auf der Kontur liegt. 

4. Verfahren nach Anspruch 3, 

bei dem sich das erste Streckenverhaitnis und 
das zweite Streckenverhaitnis sich ergeben 
aus der Lange der Strecke auf dem zweiten Lot 
bzw, auf dem vierten Lot von dem Fingerspit- 
zenpunkt zu dem Schnittpunkt mit dem ersten 
Lot bzw. dem dritten Lot und der Lange der 
Strecke auf dem ersten Lot bzw. auf dem drit- 
ten Lot von dem ersten Vergleichspunkt bzw. 
von dem zweiten Vergleichspunkt zu dem 
jeweiligen Symmetriepunkt 

5. Verfahren nach einem der AnsprOche 1 bis 4, 

bei dem der Bereich nur fur den Fall als das fin- 
gerfOrmige Objekt klassifiziert wird. wenn das 
zweite Streckenverhdltnis grOBer ist als eine 
vorgebbare zweite Schranke. 

6. Verfahren zur Bedienung eines virtuellen Touch 
Screens unter Verwendung des nach einem der 
AnsprOche 1 bis 5 Wassifizierten fingerfOrmigen 
Objekts. 

7. Verfahren nach Anspruch 6, 

bei dem das virtuelle Touch Screen von einem 
Projektor auf eine Bedienoberf lache projiziert 
wird, 

bei dem die OrHiche Position des fingerfOrmi- 
gen Objekts in Bezug auf des virtuellen Touch 
Screens bestimmt wird, 
bei dem eine Eingabe des fingerfOrmigen 
Objekts mit einem Element des virtuellen 
Touch Screens klassifiziert wird, wenn das fin- 
gerfOrmige Objekt eine vorgebbare Ze'rt Ober 
dem Element des virtuellen Touch Screens 
ruht 

8. Verfahren nach Anspruch 7, 

bei dem die vorgebbare Zert variabel ist, 
abhangig von der Bewegung des fingerfGrmi- 



5 - bei dem vorgebbaren Formen des handfOrmi- 
gen ersten Objekt semantische Bezuge zuge- 
ordnet werden, 
• bei dem anhand der semantischen BezOge in 
dem Rechner vorgebbare Aktionen durchge- 

io f Ohrt werden. 

1 0. Verfahren nach einem der AnsprOche 1 bis 9, 

bei dem zusatzlich zur Bedienung des virtuel- 
is I en Touch Screens Verfahren zur Spracherken- 

nung von Worten, die von dem Benutzer des 
virtuellen Touch Screens gesprochen werden, 
verwendet werden. 

20 11. Verfahren nach einem der AnsprOche 1 bis 10, 

bei dem sich der Symmetriepunkt ergibt aus 
dem Schnittpunkt des dritten Lots und der Kon- 
tur. 
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